Vợ ông qua đời năm ông 40 tuổi, để lại cho ông 7 người con. Với sự giúp đỡ của người em trai (vốn không lập gia đình), ông đã nuôi dạy các con nên người. Các con ông về sau đều tốt nghiệp đại học bách khoa và sư phạm. Hiện nay, 2 cháu ngoại của ông chọn nối nghiệp ông là nhạc sĩ Thân Cường Việt, hiện công tác tại dàn nhạc Giao hưởng Thành phố Hồ Chí Minh và Phạm Phương Hoa, hiện là trưởng khoa Lí luận - Sáng tác - Chỉ huy của Nhạc Viện Quốc gia Hà Nội. Con trai út của ông là nhạc sĩ Phạm Huy Quỳnh cùng cháu nội của ông là Phạm Huy Khôi đều công tác tại Nhạc Viện Quốc gia Hà Nội trong nhiều năm. Ông mất vào ngày 7 tháng 4 năm 2010 và được an táng bên cạnh người vợ hiền Hoàng Thị Kiệm Nương tại Đông Ngạc, Từ Liêm [1]